歡迎轉載，轉載請注明出處，徽滬一郎。 楔子 源碼閱讀是一件非常容易的事，也是一件非常難的事。容易的是代碼就在那里，一打開就可以看到。難的是要通過代碼明白作者當初為什么要這樣設計，設計之初要解決的主 ...

歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本文以wordCount為例，詳細說明spark創建和運行job的過程，重點是在進程及線程的創建。 實驗環境搭建 在進行后續操作前，確保下列條件已滿 ...

歡迎轉載，轉載請注明出處，徽滬一郎。 概要 上篇博文講述了如何通過修改源碼來查看調用堆棧，盡管也很實用，但每修改一次都需要編譯，花費的時間不少，效率不高，而且屬於侵入性的修改，不優雅。本篇講述如何 ...

歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本篇主要闡述在TaskRunner中執行的task其業務邏輯是如何被調用到的，另外試圖講清楚運行着的task其輸入的數據從哪獲取，處理的結果返回到哪里， ...

除本人同意外，嚴禁一切轉載，徽滬一郎。 概要 編寫了獨立運行的Spark Application之后，需要將其提交到Spark Cluster中運行，一般會采用spark-submit來進行應用的 ...

歡迎轉載，轉載請注明出處，徽滬一郎。 概要 Spark應用開發實踐性非常強，很多時候可能都會將時間花費在環境的搭建和運行上，如果有一個比較好的指導將會大大的縮短應用開發流程。Spark Strea ...

Spark結構式流編程指南 概覽 Structured Streaming 是一個可拓展，容錯的，基於Spark SQL執行引擎的流處理引擎。使用小量的靜態數據模擬流處理。伴隨流數據的到來，Spa ...

歡迎轉載，轉載請注明出處，徽滬一郎。 概要 在即將發布的spark 1.0中有一個新增的功能，即對sql的支持，也就是說可以用sql來對數據進行查詢，這對於DBA來說無疑是一大福音，因為以前的知識 ...

Spark源碼分析之-scheduler模塊 這位寫的非常好, 讓我對Spark的源碼分析, 變的輕松了許多 這里自己再梳理一遍 先看一個簡單的spark操作, 1. Spar ...

歡迎轉載,轉載請注明出處,徽滬一郎. 概述 Scala越來越流行, Spark也愈來愈紅火, 對spark的代碼進行走讀也成了一個很普遍的行為。不巧的是，當前java社區中很流行的ide如ecli ...